虽然差异隐私的应用（DP）在联合学习（FL）方面进行了充分研究，但考虑到跨索洛FL的DP缺乏工作，该设置的特征是有限数量的客户，每个客户都包含许多人数据主体。在跨索洛fl中，由于现实世界中的隐私法规，通常涉及核心数据主体，而不是孤岛本身，因此客户级隐私的通常概念不太适合。在这项工作中，我们相反，考虑了更现实的孤岛特定项目级隐私的概念，其中筒仓为当地示例设定了自己的隐私目标。在这种情况下，我们重新考虑了个性化在联合学习中的作用。特别是，我们表明，均值进行的多任务学习（MR-MTL）是一个简单的个性化框架，是跨索洛FL的强大基准：在更强的隐私下，孤岛进一步激励彼此“联合”以互相“联合”减轻DP噪声，相对于标准基线方法，导致一致的改进。我们为竞争方法以及MR-MTL的理论表征提供了一项彻底的经验研究，以实现平均估计问题，从而突出了隐私与跨核数据异质性之间的相互作用。我们的工作旨在为私人跨索洛FL建立基准，并确定该领域未来工作的关键方向。

在联邦学习中，对受保护群体的公平预测是许多应用程序的重要限制。不幸的是，先前研究集团联邦学习的工作往往缺乏正式的融合或公平保证。在这项工作中，我们为可证明的公平联合学习提供了一个一般框架。特别是，我们探索并扩展了有限的群体损失的概念，作为理论上的群体公平方法。使用此设置，我们提出了一种可扩展的联合优化方法，该方法在许多群体公平限制下优化了经验风险。我们为该方法提供收敛保证，并为最终解决方案提供公平保证。从经验上讲，我们评估了公平ML和联合学习的共同基准的方法，表明它可以比基线方法提供更公平，更准确的预测。

Fairness and robustness are two important concerns for federated learning systems. In this work, we identify that robustness to data and model poisoning attacks and fairness, measured as the uniformity of performance across devices, are competing constraints in statistically heterogeneous networks. To address these constraints, we propose employing a simple, general framework for personalized federated learning, Ditto, that can inherently provide fairness and robustness benefits, and develop a scalable solver for it. Theoretically, we analyze the ability of Ditto to achieve fairness and robustness simultaneously on a class of linear problems. Empirically, across a suite of federated datasets, we show that Ditto not only achieves competitive performance relative to recent personalization methods, but also enables more accurate, robust, and fair models relative to state-of-the-art fair or robust baselines.

在存在白噪声的情况下，在各个科学领域，在存在白噪声的情况下逃脱吸引盆地的平均退出时间至关重要。在这项工作中，我们提出了一种策略，以控制一般随机动力学系统的平均退出时间，以基于准潜电概念和机器学习实现所需的价值。具体而言，我们开发了一个神经网络体系结构来计算全局准次电位函数。然后，我们设计了一种系统的迭代数值算法来计算给定平均退出时间的控制器。此外，我们在有效的汉密尔顿 - 雅各比计划和受过训练的神经网络的帮助下确定了亚稳态吸引子之间的最可能路径。数值实验表明，我们的控制策略是有效且足够准确的。

为了获得下游图像信号过程（ISP）的高质量的原始图像，在本文中，我们提出了一个有效的本地乘法变压器，称为ELMFORMER，用于原始图像恢复。 Elmformer包含两个核心设计，尤其是针对原始属性是单渠道的原始图像。第一个设计是双向融合投影（BFP）模块，我们考虑了原始图像的颜色特征和单渠道的空间结构。第二个是我们提出了一个本地乘法自我注意力（L-MSA）方案，以有效地从当地空间传递信息到相关部分。 Elmformer可以有效地减少计算消耗，并在原始图像恢复任务上表现良好。通过这两种核心设计，Elmformer提高了最高的性能，并且与最先进的机构相比，原始DeNoising和原始Deblurring基准测试最低。广泛的实验证明了Elmformer的优势和概括能力。在SIDD基准测试中，我们的方法比基于ISP的方法具有更好的降解性能，这些方法需要大量的额外的SRGB培训图像。这些代码在https://github.com/leonmakise/elmformer上发布。

在神经影像分析中，功能磁共振成像（fMRI）可以很好地评估没有明显结构病变的脑疾病的大脑功能变化。到目前为止，大多数基于研究的FMRI研究将功能连接性作为疾病分类的基本特征。但是，功能连接通常是根据感兴趣的预定义区域的时间序列计算的，并忽略了每个体素中包含的详细信息，这可能会导致诊断模型的性能恶化。另一个方法论上的缺点是训练深模型的样本量有限。在这项研究中，我们提出了Brainformer，这是一种用于单个FMRI体积的脑疾病分类的一般混合变压器架构，以充分利用素食细节，并具有足够的数据尺寸和尺寸。脑形形式是通过对每个体素内的局部提示进行建模的3D卷积，并捕获两个全球注意力障碍的遥远地区之间的全球关系。局部和全局线索通过单流模型在脑形中汇总。为了处理多站点数据，我们提出了一个归一化层，以将数据标准化为相同的分布。最后，利用一种基于梯度的定位图可视化方法来定位可能的疾病相关生物标志物。我们在五个独立获取的数据集上评估了脑形形成器，包括Abide，ADNI，MPILMBB，ADHD-200和ECHO，以及自闭症疾病，阿尔茨海默氏病，抑郁症，注意力缺陷多动障碍和头痛疾病。结果证明了脑形对多种脑疾病的诊断的有效性和普遍性。脑形物可以在临床实践中促进基于神经成像的精确诊断，并激励FMRI分析中的未来研究。代码可在以下网址获得：https：//github.com/ziyaozhangforpcl/brainformer。

对人类流动性进行建模有助于了解人们如何访问资源并在城市中彼此进行身体接触，从而有助于各种应用，例如城市规划，流行病控制和基于位置的广告。下一个位置预测是单个人类移动性建模中的一项决定性任务，通常被视为序列建模，用Markov或基于RNN的方法解决。但是，现有模型几乎不关注单个旅行决策的逻辑和人口集体行为的可重复性。为此，我们提出了一个因果关系和空间约束的长期和短期学习者（CSLSL），以进行下一个位置预测。 CSLSL利用基于多任务学习的因果结构来明确对“ $ \ rightarrow $ wher wher wher wher whit $ \ rightarrow $ where where where”，a.k.a.”接下来，我们提出一个空间约束损失函数作为辅助任务，以确保旅行者目的地的预测和实际空间分布之间的一致性。此外，CSLSL采用了名为Long and Short-Charturer（LSC）的模块，以了解不同时间跨度的过渡规律。在三个现实世界数据集上进行的广泛实验表明，CSLSL的性能改善了基准，并确认引入因果关系和一致性约束的有效性。该实现可在https://github.com/urbanmobility/cslsl上获得。

大多数GaN（生成的对抗网络）基于高保真波形的方法，严重依赖于鉴别者来提高其性能。然而，该GaN方法的过度使用引入了生成过程中的许多不确定性，并且通常导致音调和强度不匹配，当使用诸如唱歌语音合成（SVS）敏感时，这是致命的。为了解决这个问题，我们提出了一种高保真神经声码器的Refinegan，具有更快的实时发电能力，并专注于鲁棒性，俯仰和强度精度和全带音频生成。我们采用了一种具有基于多尺度谱图的损耗功能的播放引导的细化架构，以帮助稳定训练过程，并在使用基于GaN的训练方法的同时保持神经探测器的鲁棒性。与地面真实音频相比，使用此方法生成的音频显示在主观测试中更好的性能。该结果表明，通过消除由扬声器和记录过程产生的缺陷，在波形重建期间甚至改善了保真度。此外，进一步的研究表明，在特定类型的数据上培训的模型可以在完全看不见的语言和看不见的扬声器上相同地执行。生成的样本对在https://timedomain-tech.github.io/refinegor上提供。

Masked image modeling (MIM) performs strongly in pre-training large vision Transformers (ViTs). However, small models that are critical for real-world applications cannot or only marginally benefit from this pre-training approach. In this paper, we explore distillation techniques to transfer the success of large MIM-based pre-trained models to smaller ones. We systematically study different options in the distillation framework, including distilling targets, losses, input, network regularization, sequential distillation, etc, revealing that: 1) Distilling token relations is more effective than CLS token- and feature-based distillation; 2) An intermediate layer of the teacher network as target perform better than that using the last layer when the depth of the student mismatches that of the teacher; 3) Weak regularization is preferred; etc. With these findings, we achieve significant fine-tuning accuracy improvements over the scratch MIM pre-training on ImageNet-1K classification, using all the ViT-Tiny, ViT-Small, and ViT-base models, with +4.2%/+2.4%/+1.4% gains, respectively. Our TinyMIM model of base size achieves 52.2 mIoU in AE20K semantic segmentation, which is +4.1 higher than the MAE baseline. Our TinyMIM model of tiny size achieves 79.6% top-1 accuracy on ImageNet-1K image classification, which sets a new record for small vision models of the same size and computation budget. This strong performance suggests an alternative way for developing small vision Transformer models, that is, by exploring better training methods rather than introducing inductive biases into architectures as in most previous works. Code is available at https://github.com/OliverRensu/TinyMIM.

The recent increase in public and academic interest in preserving biodiversity has led to the growth of the field of conservation technology. This field involves designing and constructing tools that utilize technology to aid in the conservation of wildlife. In this article, we will use case studies to demonstrate the importance of designing conservation tools with human-wildlife interaction in mind and provide a framework for creating successful tools. These case studies include a range of complexities, from simple cat collars to machine learning and game theory methodologies. Our goal is to introduce and inform current and future researchers in the field of conservation technology and provide references for educating the next generation of conservation technologists. Conservation technology not only has the potential to benefit biodiversity but also has broader impacts on fields such as sustainability and environmental protection. By using innovative technologies to address conservation challenges, we can find more effective and efficient solutions to protect and preserve our planet's resources.